La startup américaine de moteur de recherche Perplexity AI a récemment soumis une proposition de fusion à ByteDance, la société mère de TikTok, visant à combiner Perplexity et la version américaine de TikTok en une nouvelle entité. Selon des sources bien informées, cette proposition revêt une importance particulière face à l'interdiction imminente aux États-Unis. TikTok fait face à une interdiction du gouvernement américain, censée entrer en vigueur ce dimanche, sauf si elle parvient à se séparer de ByteDance. Cependant, pour le moment...

Avec l’essor des grands modèles de langage (LLM) dans les applications modernes d’intelligence artificielle, des outils tels que les robots conversationnels et les générateurs de code s’appuient sur les capacités de ces modèles. Cependant, les problèmes d’efficacité liés au processus d’inférence deviennent de plus en plus importants. En particulier, le traitement des mécanismes d’attention, tels que FlashAttention et SparseAttention, se révèle souvent insuffisant face à des charges de travail diverses, des modes d’entrée dynamiques et des limitations des ressources GPU. Ces défis, associés à des latences élevées et à des goulots d’étranglement de la mémoire,

L'Université Harvard a récemment annoncé son intention de publier un jeu de données composé de près d'un million de livres du domaine public. Ce jeu de données pourra être utilisé par quiconque pour entraîner des grands modèles de langage et d'autres outils d'intelligence artificielle. Ce projet est mené par la nouvelle initiative de données institutionnelles (Institutional Data Initiative) de l'Université Harvard, et a été réalisé grâce au financement de Microsoft et d'OpenAI. Ce jeu de données comprend des livres numérisés provenant du projet Google Books, et couvre des œuvres classiques telles que celles de Shakespeare, Dickens et Dante, etc.

Une nouvelle étude de l'Université du Michigan a récemment révélé qu'une méthode économe en énergie pour entraîner les grands modèles de langage permet de réaliser la même tâche dans le même laps de temps, mais avec une réduction de la consommation d'énergie de 30 %. Cette méthode permettrait d'économiser suffisamment d'énergie pour alimenter 1,1 million de foyers américains d'ici 2026. Les chercheurs ont développé un outil logiciel appelé Perseus qui identifie les chemins critiques, c'est-à-dire la séquence de sous-tâches qui prennent le plus de temps à s'exécuter. Perseus réduit ensuite la vitesse du processeur sur les chemins non critiques afin qu'ils puissent tous être terminés simultanément.

Le MIT a présenté cette semaine un nouveau modèle pour entraîner des robots, visant à résoudre le problème de l'apprentissage par imitation qui peut échouer lorsque de petits défis sont introduits. Les chercheurs ont souligné que l'apprentissage par imitation peut échouer dans des situations telles que des changements d'éclairage, des environnements différents ou de nouveaux obstacles, car le robot n'a tout simplement pas assez de données pour s'adapter. L'équipe a cherché des modèles tels que GPT-4 pour trouver une méthode de données robuste pour résoudre le problème. Ils ont introduit une nouvelle architecture appelée transformateur pré-entraîné hétérogène (HPT) qui rassemble des informations provenant de différents capteurs et de différents environnements.

L'IA commence-t-elle à développer un "cerveau" ?! Une nouvelle étude du Massachusetts Institute of Technology (MIT) révèle que la structure interne des grands modèles de langage (LLM) présente des similitudes étonnantes avec le cerveau humain ! Cette recherche, utilisant la technique de l'auto-encodeur parcimonieux, a permis une analyse approfondie de l'espace d'activation des LLM, révélant trois niveaux de caractéristiques structurelles, particulièrement impressionnants : premièrement, au niveau microscopique, les chercheurs ont découvert l'existence de structures similaires à des "cristaux". Les faces de ces "cristaux" sont constituées de parallélogrammes ou de trapèzes, semblables aux analogies lexicales que nous connaissons, par exemple "homme :

SK Telecom a de nouveau fait parler de lui ! Mardi, l'opérateur a annoncé le lancement de la version PC de son service d'intelligence artificielle (IA), A. Les utilisateurs peuvent désormais accéder gratuitement à plusieurs grands modèles de langage (LLM) via le site Web adot.ai, y compris le dernier GPT-4o. Cette version PC permet aux utilisateurs d'utiliser A. non seulement sur leur téléphone mobile, mais aussi pour la première fois sur ordinateur et tablette via différents navigateurs. Source de l'image : image générée par IA, fournie par Midjourney.

Récemment, les chercheurs d'Apple ont mené une étude approfondie sur les capacités de raisonnement mathématique des grands modèles de langage (LLM), et ont présenté un nouveau benchmark nommé GSM-Symbolic. Ce nouveau benchmark est une évolution de GSM8K, principalement utilisé pour évaluer les compétences mathématiques de base. Bien que de nombreux LLM aient montré des améliorations sur GSM8K, la communauté scientifique reste sceptique quant aux capacités de raisonnement de ces modèles, estimant que les indicateurs d'évaluation actuels pourraient ne pas refléter pleinement leurs capacités réelles. L'étude révèle...

Dans le monde de l'intelligence artificielle, la capacité de raisonnement des modèles d'apprentissage automatique, en particulier les grands modèles de langage (LLM), est un sujet de préoccupation constant pour les scientifiques. Récemment, l'équipe de recherche sur l'IA d'Apple a publié un article intitulé « Comprendre les limites des grands modèles de langage en matière de raisonnement mathématique », qui nous révèle les limites de ces modèles lorsqu'il s'agit de traiter des problèmes logiques. Dans l'article, les chercheurs illustrent ce point à l'aide d'un problème mathématique simple. Ils présentent d'abord un problème concernant Oliver qui cueille des kiwis : comme indiqué ci-dessous : Oliver a cueilli 44 kiwis le vendredi...

Dans le monde de l'IA, les données sont comme des mines d'or, plus elles sont riches, plus elles brillent. Récemment, LLM360 a lancé un ensemble de données remarquable, TxT360, spécialement conçu pour l'entraînement des grands modèles de langage. Ce mastodonte ne se contente pas de rassembler des données textuelles de haute qualité provenant de tous les secteurs d'activité, il a également subi une vaste opération de nettoyage à l'échelle mondiale, aboutissant à un ensemble de 5,7 billions de tokens de haute qualité, un véritable « coffre au trésor des données » ! Le charme de TxT360 réside dans son ampleur et sa qualité exceptionnelles, surpassant les F existants.

Récemment, des équipes de l'Université de Cambridge et d'autres ont publié un article de fond qui révèle la véritable nature des grands modèles (LLM), analysant en profondeur les performances réelles des grands modèles de langage (LLM) actuels. Les résultats sont stupéfiants : ces modèles d'IA, auxquels on fait de grands espoirs, sont bien moins performants qu'on ne le pensait sur de nombreuses tâches de base. Cette recherche a mené une évaluation complète de plusieurs modèles de pointe, y compris o1-preview. Les résultats montrent une différence significative entre les modèles d'IA et les humains en termes de capacité de compréhension. De manière surprenante, les modèles ont du mal à comprendre ce que les humains considèrent comme des concepts simples.

Des scientifiques de l'Université polytechnique de Valence, en Espagne, ont récemment mené une étude révélant que les grands modèles de langage tels que GPT, LLaMA et BLOOM sont plus susceptibles de mentir que d'avouer leur ignorance lorsqu'ils traitent des questions. L'étude a montré qu'avec l'augmentation de la complexité des modèles d'IA, leur précision diminue face à des problèmes complexes, et ils sont plus susceptibles de fabriquer des réponses. Les chercheurs ont constaté que les volontaires humains avaient également du mal à identifier ces réponses erronées, ce qui suggère les risques potentiels que les mensonges de l'IA pourraient représenter pour les humains. Les scientifiques recommandent, pour améliorer l'IA...

Titre : World Labs, créé par Fei-Fei Li, la « marraine de l'IA », obtient un financement de 230 millions de dollars ! Récemment, World Labs, la startup de Fei-Fei Li, professeure à Stanford et considérée comme la « marraine de l'IA », a réussi à lever 230 millions de dollars auprès d'investisseurs de renom tels qu'Andreessen Horowitz, NEA et Radical Ventures. Ce financement valorise World Labs à plus d'un milliard de dollars.

Lors d'une conférence commerciale, le responsable des opérations d'OpenAI au Japon, Tadashi Nagae, a mentionné « GPT Next » comme une métaphore pour la prochaine génération de grands modèles de langage, suggérant que les modèles d'OpenAI évoluent de manière exponentielle au fil du temps. Cependant, OpenAI a ensuite précisé que « GPT Next » n'était qu'une métaphore pour illustrer le concept d'évolution des modèles, et non un nom de produit ou un calendrier précis. Nagae a illustré dans ses diapositives un passage de l'« ère GPT-3 » en 2021 à l'« ère GPT Next » en 2024.

Not Diamond est un routeur de modèles d'IA innovant, conçu pour déterminer automatiquement le LLM le mieux adapté pour répondre à une requête spécifique. En combinant plusieurs LLM en un méta-modèle et en apprenant quand appeler chaque modèle, Not Diamond améliore considérablement l'efficacité du traitement tout en garantissant des réponses de haute qualité. Ce mécanisme intelligent d'acheminement automatique réduit le temps consacré à la sélection manuelle des modèles, assurant une réponse optimisée à chaque requête. Les points forts de Not Diamond incluent la prise en charge de plusieurs modèles et sa...

NVIDIA a lancé AI Foundry, un service visant à aider les entreprises à développer et déployer des grands modèles de langage personnalisés pour une meilleure précision et un meilleur contrôle, afin de répondre aux évolutions rapides du marché. AI Foundry combine le matériel, les outils logiciels et l'expertise de NVIDIA pour aider les entreprises à développer des modèles open source personnalisés pour des besoins commerciaux spécifiques, tels que Llama 3.1 de Meta. Ce service fournit des ressources informatiques hautes performances et une évaluation de la personnalisation des modèles via DGX Cloud et le kit d'outils NeMo, ainsi que des conseils d'experts de NVIDIA.

Des chercheurs de Microsoft ont présenté Auto Evol-Instruct, un nouveau framework IA capable d'adapter et d'optimiser automatiquement le processus de génération de données IA, sans intervention humaine. Contrairement aux méthodes d'évolution précédentes qui nécessitaient des règles définies par des experts, ce framework utilise directement les grands modèles de langage (LLM) pour analyser les instructions, concevoir et optimiser les règles d'évolution. Auto Evol-Instruct peut automatiquement améliorer les performances des tâches telles que le respect des instructions, le raisonnement mathématique et la génération de code, améliorant ainsi considérablement les performances des LLM. Des tests comparatifs montrent que...